Yuri Andropov chết tháng 2 năm 1984, chỉ sau 15 tháng cầm quyền. Sau đó Chernenko được bầu thay thế Andropov, dù có những lo ngại về sức khoẻ kém của ông, và trái ngược lại với những mong muốn của Andropov (ông nói ông muốn Gorbachev kế vị mình). Yegor Ligachev viết trong hồi ký của mình rằng Chernenko được bầu làm tổng bí thư mà không gặp cản trở nào. Tại phiên họp toàn thể của Uỷ ban Trung ương ngày 13 tháng 2 năm 1984, bốn ngày sau khi Andropov qua đời, Chủ tịch Hội đồng Bộ trưởng Liên Xô và thành viên Bộ chính trị Nikolai Tikhonov đề nghị bầu Chernenko làm tổng bí thư và Uỷ ban đã thống nhất bầu ông.

Arkady Volsky, một trợ lý của Andropov và các tổng thư ký khác, thuật lại về một thời điểm xảy ra sau một cuộc họp của Bộ chính trị ngay sau ngày Andropov chết: Khi các thành viên Bộ chính trị ra khỏi phòng họp, cả Andrei Gromyko hay (trong những tường thuật sau này) Dmitriy Ustinov đều được kể rằng đã nắm tay Nikolai Tikhonov và nói: "Tốt rồi, Kostya là một người thích hợp (pokladisty muzhik), mọi người có thể làm việc với anh ta...." Thậm chí điều gây khó chịu lớn hơn là thất bại của Bộ chính trị trong việc thông qua quyết định cho ông để điều khiển các cuộc họp của Bộ chính trị khi vắng mặt Chernenko, người có thể được dự đoán là đã bắt đầu bỏ lỡ các phiên họp đó với tần suất ngày càng lớn. Như Nikolai Ryzhkov miêu tả trong hồi ký của mình, "mọi sáng thứ 5 (Mikhail Gorbachev) sẽ ngồi trong văn phòng của mình như một đứa trẻ mồ côi nhỏ - tôi thường hiện diện trong quá trình buồn tẻ đó – chờ đợi một cách lo lắng một cuộc điện thoại gọi tới từ Chernenko đang ốm yếu: Liệu ông có đích thân tới Bộ chính trị hay sẽ yêu cầu Gorbachev thay mặt cho ông một lần nữa?"

Tại lễ tang Andropov, ông chỉ có thể đọc bài điếu văn. Những người có mặt cố sức hiểu nghĩa của điều ông đang cố diễn đạt trong đó. Ông nói nhanh, nuốt từ, húng hắng và dừng lại nhiều lần để quệt môi và trán. Ông lên trên lễ đài trên Lăng Lenin theo một chiếc thang máy mới được lắp đặt và đi xuống với sự trợ giúp của hai vệ sĩ. Chernenko đã thể hiện một sự quay lại với những chính sách của thời kỳ Brezhnev. Quả thực, ông ủng hộ một vai trò lớn hơn của các liên đoàn lao động, và cải cách trong giáo dục và tuyên truyền. Thay đổi nhân sự quan trọng đầu tiên thời Chernenko là việc ông sa thải lãnh đạo General Staff, Nikolay Ogarkov, người đã ủng hộ giảm chi tiêu cho hàng hoá tiêu thụ để dành tiền cho các chi tiêu vào nghiên cứu và phát triển vũ khí.

Về chính sách đối ngoại, ông đã đàm phán một hiệp ước thương mại với Cộng hoà Nhân dân Trung Hoa. Dù có những kêu gọi quay lại thời giảm căng thẳng, Chernenko không hành động nhiều để ngăn chặn sự leo thang của Chiến tranh Lạnh với Hoa Kỳ. Ví dụ, năm 1984, Liên bang Xô viết đã ngăn chặn một chuyến thăm tới Tây Đức của lãnh đạo Đông Đức Erich Honecker. Tuy nhiên, cuối mùa thu năm 1984, Hoa Kỳ và Liên Xô đã đồng ý nối lại các cuộc đàm phán kiểm soát vũ khí vào đầu năm 1985. Tháng 11 năm 1984 Chernenko gặp lãnh đạo Công Đảng, Neil Kinnock.

Vì Hoa Kỳ đã tẩy chay Olympic mùa hè năm 1980 được tổ chức tại Moscow, Liên Xô, khi đang ở dưới sự lãnh đạo của bộ máy Chernenko, đã tẩy chay thế vận hội mùa hè năm 1984 được tổ chức tại Los Angeles. Cuộc tẩy chay khiến 14 quốc gia thuộc Khối Đông Âu và các đồng minh gồm cả Liên Xô, Cuba và Đông Đức (nhưng không có România) tẩy chay thế vận hội đó. Liên Xô thông báo ý định không tham gia ngày 8 tháng 5 năm 1984, nêu ra những lo ngại về an ninh và nói rằng, "những tình cảm sô vanh và hội chứng chống Liên Xô đang được tạo nên ở Hoa Kỳ", nhưng một số người coi đó là sự trả đũa cho việc Hoa Kỳ tẩy chay Moskva thế vận hội. Trong số những người phản đối nguyên nhân trả đũa có Peter Ueberroth, người lãnh đạo tổ chức sự kiện, trong một cuộc họp báo và sau khi việc tẩy chay đã được thông báo. Iran là quốc gia duy nhất không tham gia cả Olympic Moscow hay Los Angeles. Cộng hoà Nhân dân Trung Hoa tham gia thi tài tại Los Angeles sau khi tẩy chay Olympic Moscow. Vì các lý do khác nhau, Iran và Lybia cũng tẩy chay. Việc tẩy chay được tông báo cùng ngày với sự kiện cuộc Rước đuốc Olympic xuyên Hoa Kỳ bắt đầu diễn ra tại Thành phố New York.

Cuộc tẩy chay đã ảnh hưởng đến một số lượng lớn các cuộc thi của thế vận hội vốn thường có sự thống trị của các quốc gia vắng mặt. Các quốc gia tẩy chay đã tổ chức một sự kiện khác vào tháng 7-8 năm 1984, gọi là Thế vận hội Hữu nghị.